Dưới thời nhà Nguyễn, Tân Sơn Nhì là một làng thuộc tổng Dương Hòa Thượng, huyện Bình Dương, phủ Tân Bình, tỉnh Gia Định.

Đến thời Pháp thuộc, làng Tân Sơn Nhì được mở rộng trên cơ sở sáp nhập hai làng kế cận là Tân Thới và Tân Trụ, trực thuộc tổng Dương Hòa Thượng, quận Gò Vấp, tỉnh Gia Định.

Sau năm 1956, các làng được đổi thành xã. Vào năm 1957, chính quyền Việt Nam Cộng hòa tách tổng Dương Hòa Thượng ra khỏi quận Gò Vấp để thành lập quận Tân Bình thuộc tỉnh Gia Định, xã Tân Sơn Nhì thuộc quận Tân Bình.

Năm 1965, chính quyền tách một phần diện tích và dân số của hai xã Tân Sơn Nhì và Phú Thọ Hòa để thành lập một xã mới lấy tên là xã Tân Phú.

Năm 1976, xã Tân Sơn Nhì giải thể để thành lập các phường 12, 13, 14, 15, 16 và 17 thuộc quận Tân Bình.

Ngày 5 tháng 11 năm 2003, Chính phủ ban hành Nghị định 130/2003/NĐ-CP[1]. Theo đó:

• Thành lập quận Tân Phú trên cơ sở toàn bộ diện tích và dân số của các phường 16, 17, 18, 19, 20; một phần diện tích và dân số của các phường 14, 15 thuộc quận Tân Bình
• Thành lập phường Tân Sơn Nhì thuộc quận Tân Phú trên cơ sở 102,63 ha diện tích tự nhiên và 22.418 người của Phường 14; 2,63 ha diện tích tự nhiên và 464 người của Phường 16; 7,56 ha diện tích tự nhiên và 2.430 người của Phường 17.

Sau khi thành lập, phường Tân Sơn Nhì có 112,82 ha diện tích tự nhiên, dân số là 25.312 người.